Skip to content

test(api): conformidad de producción con identidad OIDC, oráculo A/B y revocación reales (#144) - #293

Open
eribertocz wants to merge 4 commits into
claude/143-drill-uifrom
claude/144-conformance
Open

eribertocz wants to merge 4 commits into
claude/143-drill-uifrom
claude/144-conformance

Conversation

@eribertocz

Copy link
Copy Markdown
Owner

Closes #144. Refs #143, #150, #151, #128.

Apilado sobre #292 (#143). Al fusionarse #292, reapuntar a main.

Qué entrega

Una prueba de aceptación sin cambios de producto: el target backend/crates/bi-server/tests/semantic_conformance.rs, con la feature postgres-tests y compilado sin dev-auth.

Cliente HTTP del servidor ya arrancado en el entorno OIDC (BI_CONFORMANCE_BASE_URL):

  • Ese servidor es binario de producción con rol de metadatos restringido, proyecto gobernado y DuckLake/PostgreSQL reales.
  • No usa otro Router ni AppState en proceso, ni sesiones sembradas.
  • El login es el real: POST /api/v1/oidc/start, formulario de Keycloak, callback y cookie bi_session.
  • Antes de cualquier caso comprueba que el servidor está listo, que OIDC está activo, que /api/v1/dev/users no existe (es decir, sin dev-auth) y que el proveedor de la fixture responde.
  • Cada variable de entrada es obligatoria: si falta una, el target falla, nunca se salta.

Casos:

  1. A→B→A con el mismo cuerpo:
    • A obtiene [["100.30","2"]] y B [["200.00","2"]], con DECIMAL(38,2)/INT64 exactos, sin la cifra del otro.
    • Cada petición tiene un evento de auditoría (correlacionado por x-request-id) con su actor y query/success, sin valores de filas, contexto ni credenciales.
    • Los recibos son comparables entre actores en versiones, huella canónica de la consulta y fuentes. Las huellas ligadas al contexto (HMAC) solo se exigen iguales dentro del mismo actor.
    • Ambos ven el mismo catálogo de la misma definición.
  2. Revocación y recuperación con la misma cookie:
    • Al retirar el mapeo de analistas en el members.yaml del proyecto que lee el servidor (BI_CONFORMANCE_PROJECT_DIR), las dos consultas siguientes dan el 404 neutro, sin datos ni recibo, y quedan auditadas como denial/denied.
    • El catálogo responde 200 vacío y la sesión sigue autenticada.
    • Al restaurar, vuelve el resultado exacto.
    • El archivo se restaura también si el caso falla (Drop); si la restauración falla, falla el target.
  3. Identidades y reclamaciones:
    • oidc-outsider, sin mapeo, obtiene el 404 neutro auditado y un catálogo vacío.
    • Las cabeceras que reclaman rol, grupo, departamento o usuario se ignoran.
    • Un context en el cuerpo da 422 invalid_request sin datos.
    • La matriz completa de campos del cuerpo ya está en las pruebas del router; no se repite.

Login de Keycloak compartido: el formulario real pasa de src/oidc/tests.rs a tests/common/keycloak.rs, incluido mediante #[path] por el router y por el target. Solo es código de pruebas: nada se reexporta como API de producto. Sus 24 consumidores (oidc::tests) pasan contra el Keycloak real.

CI: un paso en el job browser de oidc.yml, antes de Playwright (los dos editan las membresías de la fixture, nunca a la vez), con el mismo comando que en local. Reutiliza el DuckDB oficial del job.

Alternativa descartada: ampliar las pruebas de router en proceso. Usan metadatos Development y no prueban el servidor de producción restringido, que es justo lo que pide el Issue.

Amenaza:

  • Qué se protege: que una identidad verificada vea solo sus filas y que la revocación actúe en la petición siguiente.
  • De quién: de otra identidad, de un cliente que reclama roles o contexto, y de una concesión cacheada.
  • Cómo se prueba: con el servidor real y la auditoría real.

Comandos locales

Contra mi stack propio (podman claude-oidc, servidor de producción en :18070, la misma secuencia que el job):

backend: cargo fmt --all --check                                                                        ok
backend: cargo clippy --locked -j 4 -p bi-server --no-default-features --features postgres-tests --all-targets -- -D warnings          ok
backend: cargo clippy --locked -j 4 -p bi-server --no-default-features --features postgres-tests,dev-auth --all-targets -- -D warnings ok
backend: cargo test --locked -j 4 -p bi-server --no-default-features --features postgres-tests --test semantic_conformance -- --test-threads=1
         -> 3 passed (5,8 s)
backend: cargo test ... --features postgres-tests --lib oidc::tests        -> 24 passed (consumidores del login compartido)
frontend, después y en el mismo stack: npm run test:e2e -- e2e/oidc.spec.ts e2e/explore.spec.ts  -> 18 passed

En local el servidor corre desde una copia del binario, porque Windows bloquea el ejecutable que el target recompila con postgres-tests. En Linux (CI) no hace falta.

Sin dependencias nuevas.

🤖 Generated with Claude Code

Claude Code and others added 3 commits October 25, 2026 22:21
…y revocación reales (#144)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
…144)

- `#[path]` del formulario de Keycloak declarado fuera de `mod real`: dentro
  de un módulo en línea resolvía a través de `src/oidc/tests/real/`, que no
  existe; solo Windows lo normaliza (rustfmt fallaba en Linux).
- La conformidad conecta desde `BI_CONFORMANCE_CLIENT_ADDR` (CI: 127.0.0.2):
  la admisión OIDC es por cliente y sus inicios de sesión agotaban el cupo
  de 127.0.0.1 que Playwright usa a continuación (callback 429).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@eribertocz

Copy link
Copy Markdown
Owner Author

[Claude]

CI en rojo de 728e4d6 corregido en 6146196 (más el merge 6022e97 de la corrección de #292 en la base).

  1. check-backend (cargo fmt): #[path = "../../../../tests/common/keycloak.rs"] estaba dentro de mod real, un módulo en línea; Rust resuelve esa ruta desde src/oidc/tests/real/, que no existe. Windows normaliza .. de forma léxica (por eso pasaba en local); Linux no. La declaración pasa al nivel del archivo (#[path = "../../tests/common/keycloak.rs"], con el mismo cfg(feature = "postgres-tests")), donde todos los directorios intermedios existen.
  2. browser (e2e OIDC): no era inestabilidad. El log del servidor muestra event_code="rate_limited" en el callback de Playwright a las 02:26:34. La admisión OIDC es por dirección de cliente (ráfaga 20, recarga 1 cada 3 s, oidc.rs), y la conformidad, que ahora corre justo antes contra el mismo servidor, gastaba ese cupo desde 127.0.0.1, la misma IP que el navegador. No toco el limitador de producción: la conformidad pasa a ser un cliente distinto con BI_CONFORMANCE_CLIENT_ADDR (reqwest local_address, en CI 127.0.0.2; opcional y documentado en la cabecera del target). El servidor ve la IP real (into_make_service_with_connect_info).

Local: cargo fmt --all --check correcto; cargo clippy -p bi-server --all-targets --features postgres-tests -- -D warnings correcto. La ejecución de la conformidad y de Playwright con Keycloak queda para el job OIDC de CI.

…144)

`check-backend` ejecuta `cargo test --all-features` en todo el workspace y
arrastraba el target de conformidad, que exige un servidor configurado y
falla (nunca se salta) sin él. `test = false` lo saca de la selección por
defecto; el job OIDC ya lo nombra (`--test semantic_conformance`), igual
que en local. Como `--all-targets` tampoco lo incluye, su clippy pasa a
ser un paso explícito de `check-backend`.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@eribertocz

Copy link
Copy Markdown
Owner Author

[Claude]

Segundo fallo de check-backend (quedaba oculto tras el de fmt), corregido en 487c421.

check-backend ejecuta cargo test --locked --all-features sobre todo el workspace y arrastraba semantic_conformance, que por diseño falla, nunca se salta sin BI_CONFORMANCE_BASE_URL y el resto de variables del servidor OIDC (BI_CONFORMANCE_BASE_URL is required by the conformance target ×3). No relajo esa regla: el target pasa a test = false en bi-server/Cargo.toml, así que solo corre cuando se nombra (--test semantic_conformance), que es exactamente el comando del job OIDC y el local. Como --all-targets deja fuera los targets test = false, backend.yml añade su clippy explícito (cargo clippy --locked --all-features --test semantic_conformance -- -D warnings).

Local: sin nombrarlo, cargo test -p bi-server --features "postgres-tests dev-auth" --no-run ya no lo compila; nombrado, sí; clippy --all-targets no lo incluye (0 invocaciones) y el clippy nombrado pasa. El target nombrado, contra una réplica local del job OIDC (Keycloak + PostgreSQL restringido + DuckLake en Podman, servidor sin dev-auth): 3/3.

El job browser del commit anterior ya pasó en verde con la corrección del cupo de admisión (conformidad desde 127.0.0.2).

@eribertocz

Copy link
Copy Markdown
Owner Author

[Claude]

Estado de 487c421: check-backend ✔ (el target de conformidad ya no entra en cargo test --all-features) y 7 de 8 checks en verde. browser ✘: 17/18; falla oidc.spec.ts:57.

Causa (no es este PR): el log del servidor muestra rate_limited en POST /api/v1/oidc/start a las 03:21:36. La conformidad ya entra desde 127.0.0.2 y había terminado (3/3) un minuto antes, así que el cupo lo agota la propia batería de Playwright: unas 22 sesiones (19 signIn en explore.spec.ts y 3 en oidc.spec.ts). Cada una gasta 2 del cupo por cliente (inicio + callback) frente a una ráfaga de 20 con recarga de 1 cada 3 s. Desde los dos recorridos nuevos de #143 queda al límite: en #292@5c6866e, #293@6022e97 y #294@f0afe64 pasó; aquí no.

Arreglo de raíz propuesto (no lo es relanzar el job ni relajar el limitador de producción): que las pruebas que no prueban el login reutilicen una sesión ya iniciada por identidad (storageState de Playwright, un login real por identidad), y que solo los casos de login, logout y revocación inicien sesión en cada prueba. Lo dejo para mañana como primera tarea. Si Codex prefiere otro alcance o un Issue aparte, lo indica aquí.

Sin relanzar el job.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant